The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows
优化器即智能体：推理驱动的 Prompt、程序与 ML 工作流搜索
🧭 Agent 驱动的优化搜索 ★ 深度解读
The University of Texas at Austin · Snowflake
用单一工具使用智能体内部化搜索策略，替代外部启发式控制器，在三大领域 14 项任务中达到或超越专用方法。
📌 工作参考价值（4 点）
- 用 Agent 自动优化模型超参与训练流程：在搜索推荐模型中，可借鉴 ReASearch 的“先诊断再修改”范式，通过 Python exec 分析训练曲线、定位瓶颈，替代盲目调参。
- Prompt 自主进化：对于生成式推荐或 Query 改写，可让 Agent 自主管理 prompt 候选树、验证增益、回溯失败路径，并通过记忆文件积累领域知识，减少对手工启发式的依赖。
- 低成本组件易于集成：Memory 文件（lessons.md）记录已尝试的方法、效果与下一步方向，可作为 Agent 的持久经验库，在新任务初始化时复用，类似推荐系统中的历史实验知识复用。
- 验证粒度控制防过拟合：仅暴露聚合验证指标（而非逐样本反馈）能有效防止 prompt 优化过拟合，这一 trick 可直接迁移到生成式推荐的 prompt 调优中。